#мультимодальное обучение

HtFLlib представляет первую универсальную библиотеку для оценки методов гетерогенного федеративного обучения в разных данных и модальностях, решая ограничения традиционного FL и расширяя возможности совместного обучения моделей.

Новое исследование представляет General-Level и General-Bench для оценки истинной синергии в мультимодальных моделях ИИ, показывая, что современные системы недостаточно интегрированы по задачам и модальностям.

Meta AI представила Web-SSL — семейство масштабируемых визуальных моделей, обученных без языка. Они показывают конкурентные результаты на мультимодальных задачах и ставят под вопрос необходимость языкового обучения.